从低级视觉理论中出现，可说的过滤器在先前的卷积神经网络上的工作中发现了对应物，等同于僵化的转换。在我们的工作中，我们提出了一种基于球形决策表面的神经元组成的基于馈送的可转向学习方法，并在点云上运行。这种球形神经元是通过欧几里得空间的共形嵌入来获得的，最近在点集的学习表示中被重新审视。为了关注3D几何形状，我们利用球形神经元的等轴测特性，并得出3D可识别性约束。在训练球形神经元以在规范方向上分类点云之后，我们使用四面体基础来使神经元四倍，并构建旋转 - 等级的球形滤波器库。然后，我们应用派生的约束来插值过滤器库输出，从而获得旋转不变的网络。最后，我们使用合成点集和现实世界3D骨架数据来验证我们的理论发现。该代码可在https://github.com/pavlo-melnyk/steerable-3d-neurons上找到。

Recent efforts in Neural Rendering Fields (NeRF) have shown impressive results on novel view synthesis by utilizing implicit neural representation to represent 3D scenes. Due to the process of volumetric rendering, the inference speed for NeRF is extremely slow, limiting the application scenarios of utilizing NeRF on resource-constrained hardware, such as mobile devices. Many works have been conducted to reduce the latency of running NeRF models. However, most of them still require high-end GPU for acceleration or extra storage memory, which is all unavailable on mobile devices. Another emerging direction utilizes the neural light field (NeLF) for speedup, as only one forward pass is performed on a ray to predict the pixel color. Nevertheless, to reach a similar rendering quality as NeRF, the network in NeLF is designed with intensive computation, which is not mobile-friendly. In this work, we propose an efficient network that runs in real-time on mobile devices for neural rendering. We follow the setting of NeLF to train our network. Unlike existing works, we introduce a novel network architecture that runs efficiently on mobile devices with low latency and small size, i.e., saving $15\times \sim 24\times$ storage compared with MobileNeRF. Our model achieves high-resolution generation while maintaining real-time inference for both synthetic and real-world scenes on mobile devices, e.g., $18.04$ms (iPhone 13) for rendering one $1008\times756$ image of real 3D scenes. Additionally, we achieve similar image quality as NeRF and better quality than MobileNeRF (PSNR $26.15$ vs. $25.91$ on the real-world forward-facing dataset).

We propose RANA, a relightable and articulated neural avatar for the photorealistic synthesis of humans under arbitrary viewpoints, body poses, and lighting. We only require a short video clip of the person to create the avatar and assume no knowledge about the lighting environment. We present a novel framework to model humans while disentangling their geometry, texture, and also lighting environment from monocular RGB videos. To simplify this otherwise ill-posed task we first estimate the coarse geometry and texture of the person via SMPL+D model fitting and then learn an articulated neural representation for photorealistic image generation. RANA first generates the normal and albedo maps of the person in any given target body pose and then uses spherical harmonics lighting to generate the shaded image in the target lighting environment. We also propose to pretrain RANA using synthetic images and demonstrate that it leads to better disentanglement between geometry and texture while also improving robustness to novel body poses. Finally, we also present a new photorealistic synthetic dataset, Relighting Humans, to quantitatively evaluate the performance of the proposed approach.

基于人工智能的模型的快速发展需要创新的监视技术，这些技术可以实时以低计算成本实时运行。在机器学习中，尤其是如果我们考虑神经网络（NN）学习算法，尤其是深入学习的体系结构，则通常以监督的方式对模型进行培训。因此，在模型的部署过程中，输入和输出之间的学习关系必须保持有效。如果这种平稳性假设成立，我们可以得出结论，NN会产生准确的预测。否则，需要对模型的重建或重建。我们建议考虑NN生成的数据（称为“嵌入”）的潜在特征表示，以确定数据流开始为非平稳的时间点。确切地说，我们通过基于数据深度和归一化等级的计算应用多元控制图来监视嵌入。使用具有不同基础数据格式的各种NN评估引入方法的性能。

随着自动化许多具有高保真性的化学任务的前景，化学语言处理模型正在快速迅速出现。在这里，我们提出了一个基于云的实时平台，该平台允许用户实际上筛选感兴趣的分子。为此，将杠杆化从最近提出的大型化学语言模型（名为Moleformer）推断出来的分子嵌入。该平台目前支持三个任务：最近的邻居检索，化学空间可视化和财产预测。根据该平台的功能并获得的结果，我们认为这样的平台可以在自动化化学和化学工程研究中起关键作用，并协助药物发现和材料设计任务。在\ url {www.ibm.biz/molecular_demo}提供我们平台的演示。

我们提出了全球环境视觉变压器（GC VIT），这是一种新的结构，可增强参数和计算利用率。我们的方法利用了与本地自我注意的联合的全球自我发项模块，以有效但有效地建模长和短距离的空间相互作用，而无需昂贵的操作，例如计算注意力面罩或移动本地窗户。此外，我们通过建议在我们的体系结构中使用修改后的融合倒置残差块来解决VIT中缺乏归纳偏差的问题。我们提出的GC VIT在图像分类，对象检测和语义分割任务中实现了最新的结果。在用于分类的ImagEnet-1k数据集上，基本，小而微小的GC VIT，$ 28 $ M，$ 51 $ M和$ 90 $ M参数实现$ \ textbf {83.2 \％} $，$ \ textbf {83.9 \％} $和$ \ textbf {84.4 \％} $ top-1的精度，超过了相当大的先前艺术，例如基于CNN的Convnext和基于VIT的Swin Transformer，其优势大大。在对象检测，实例分割和使用MS Coco和ADE20K数据集的下游任务中，预训练的GC VIT主机在对象检测，实例分割和语义分割的任务中始终如一地超过事务，有时是通过大余量。可在https://github.com/nvlabs/gcvit上获得代码。

微生物组构成中的大规模扰动与人类生理的健康和功能密切相关，无论是驱动力还是后果。但是，由于微生物之间的大量复杂相互作用，了解健康和疾病个体的微生物组轮廓的差异可能会变得复杂。我们建议将这些相互作用建模为随时间变化的图，其节点是微生物，边缘是它们之间的相互作用。由于需要分析这种复杂的相互作用的需要，我们开发了一种方法，该方法可以学习时间不断发展的图表的低维表示，并保持在高维空间中发生的动力学。通过我们的实验，我们表明我们可以提取图形特征，例如节点簇或边缘簇，这些节点或边缘对模型具有最大影响，以学习低维表示。这些信息对于鉴定与临床疾病密切相关的微生物以及它们之间的相互作用至关重要。我们对合成和现实世界微生物组数据集进行了实验。

该行业许多领域的自动化越来越多地要求为检测异常事件设计有效的机器学习解决方案。随着传感器的普遍存在传感器监测几乎连续地区的复杂基础设施的健康，异常检测现在可以依赖于以非常高的频率进行采样的测量，从而提供了在监视下的现象的非常丰富的代表性。为了充分利用如此收集的信息，观察不能再被视为多变量数据，并且需要一个功能分析方法。本文的目的是探讨近期对实际数据集的功能设置中异常检测技术的性能。在概述最先进的和视觉描述性研究之后，比较各种异常检测方法。虽然功能设置中的异常分类（例如，形状，位置）在文献中记录，但为所识别的异常分配特定类型似乎是一个具有挑战性的任务。因此，鉴于模拟研究中的这些突出显示类型，现有方法的强度和弱点是基准测试。接下来在两个数据集上评估异常检测方法，与飞行中的直升机监测和建筑材料的光谱相同有关。基准分析由从业者的建议指导结束。

我们介绍了ADAVIT，一种可自适应地调整视觉变压器（VIT）推理成本的方法，用于不同复杂性的图像。 Adavit通过自动减少在网络中处理的视觉变压器中的令牌数量作为推理进行的令牌的数量来实现这一目标。我们为此任务进行重新格式化自适应计算时间（ACT），扩展为丢弃冗余空间令牌。视觉变换器的吸引力架构属性使我们的自适应令牌减少机制能够加速推理而不修改网络架构或推理硬件。我们展示了ADAVIT不需要额外的参数或子网来停止，因为我们基于自适应停止在原始网络参数上的学习。我们进一步引入了与现有行为方法相比稳定培训的分布先前正则化。在图像分类任务（ImageNet1K）上，我们表明我们提出的Adavit在过滤信息丰富的空间特征和削减整体计算上产生了高效率。所提出的方法将Deit-Tiny的吞吐量提高了62％并除去了38％，只有0.3％的精度下降，优于大边距。

我们提出了一种从动态摄像机记录的单像素视频中恢复的3D全局人体网格恢复方法。即使在镜头的视野之外，我们的方法也适于严重和长期闭塞，并使人体追踪人体。为实现这一目标，我们首先提出了一种深入的生成运动infiller，该infill是基于可见运动的自向填充遮挡人体的身体运动。另外，与事先工作相比，我们的方法即使用动态摄像机也将在一致的全局坐标中重建人体网格。由于人类动作和相机姿势的联合重建是受到的，我们提出了一种全球轨迹预测因素，以基于当地机身运动产生全球人类轨迹。使用预测的轨迹作为锚点，我们介绍了一种全局优化框架，它可以改进预测的轨迹，并优化相机姿势以匹配诸如2D关键点之类的视频证据。具有动态摄像机的挑战性挑战和野外数据集的实验表明，在运动缺陷和全局网格恢复方面，所提出的方法显着优于现有方法。